Covariance(공분산)

2개의 확률 변수의 선형적 관계를 의미하며, 한 확률 변수의 증감에 따른 다른 확률 변수의 증감의 경향에 대한 측도이다.

만약 2개의 변수 중 하나의 값이 상승할 때 다른 값도 상승한다면, 양의 공분산을 가질 것이다.
같은 표본 공간의 확률 변수 $X, Y$ 에 대해

CV [X, Y] = E [(X - E [X]) (Y - E [Y])] \dots (1)

각 확률변수의 표본을 그 평균과 비교해 곱하는 것이 된다.
$X$ 가 평균보다 높고 $Y$ 가 평균보다 작은 경향이 있다면, 음의 상관 관계가 나타날 것이다.

기대값의 선형성을 적용해 위 식을 정리하면

= E [X Y] - E [X] E [Y] \dots (2)

이 된다. $X, Y$ 가 서로 독립일 경우에는 0이 된다.

Property

$X = Y$ ⇒ $CV [X, X] = V [X]$
$CV [X, Y] = CV [Y, X]$
$CV [X, c] = 0$ ⇒ $c$ 는 상수.
$CV [c X, Y] = c \cdot CV [X, Y]$
$CV [X, Y + Z] = CV [X, Y] + CV [X, Z]$ ⇒ $\dots (2)$ 식에 선형성을 적용하면 대입하면 나옴.
1. 4번과 5번을 이중 선형성이라고 한다.
2. 한 좌표를 고정하고 다른 좌표만 보면 선형성처럼 보일 수 있다. 이르 이중 선형성이라 한다.
$CV [X + Y, Z + W] = CV [X, Z] + CV [X, W] + CV [Y, Z] + CV [Y, W]$ ⇒ 5번을 반복해 적용한 결과.
1. $\Rightarrow CV (\sum_{i = 1}^{m} a_{i} X_{i}, \sum_{j = 1}^{n} b_{j} Y_{j}) = \sum_{i, j} a_{i} b_{j} CV (X_{i}, Y_{j})$ ⇒ 6번의 일반화. ( $a_{i}$ 와 $b_{j}$ 는 상수)
$V [X_{1} + X_{2}] = V [X_{1}] + V [X_{2}] + 2 CV [X_{1}, X_{2}]$ ⇒ 자기 자신과의 공분산 두 항, 그리고 서로의 공분산 $\times 2$
1. $\to CV [X_{1}, X_{2}] = 0$ ⇒ $X_{1}, X_{2}$ 가 독립일 때, $V [X_{1} + X_{2}] = V [X_{1}] + V [X_{2}]$
2. $\Rightarrow V [X_{1} + ... + X_{n}] = V [X_{1}] + ... + V [X_{n}] + 2 \sum_{i < j} CV [X_{i}, X_{j}]$

$X, Y$ 가 독립일 때 반드시 공분산은 0이지만, 그 역은 성립하지 않는다.